Encore：从少量演示中发现操控策略的 Agent 框架
🧭 Agent 从少量演示中提取策略并编程执行
Massachusetts Institute of Technology · 22077AI Open Source Foundation · Texas A&M University · University of Wisconsin–Madison
把少量演示作为证据包供编程 Agent 研读并迭代改写策略，冻结后评估不暴露成功信号
📌 工作参考价值（4 点）
- 可借鉴「演示即证据」的思路：在电商 Query 改写、广告文案生成或推荐策略决策中，将少量高质量成交/高点击样本的结构化轨迹（关键行为事件、状态变化）作为 prompt 上下文，让 LLM 从中归纳策略，而不是重新训练或微调。
- 固定感知/动作 API 的抽象很有用：给 Agent 暴露一组受限的领域函数（如召回、过滤、排序、出价），让 Agent 组合生成可执行策略程序，比自由文本输出更可控、可上线。
- 开发期允许少量 rollout 调试迭代，但最终 sealed evaluation 不反馈成功信号，可以防 Agent 过拟合评估指标或奖励黑客；迁移到线上测试时，冻结策略后用无偏指标评估。
- 确定性信息蒸馏：把演示/日志压缩为多视角关键帧、事件片段等结构化 pack，能降低 LLM 读取长流程的负担；在用户行为序列建模中，可提取关键行为事件、商品切换等作为总结性证据输入。
从理解到行动：基于反馈的策略发现用于生成式推荐
🧭 生成式推荐 · 策略发现与知识蒸馏 ★ 深度解读
Huazhong Agricultural University · Fudan University · Kuaishou Technology · Tianjin University
识别理解-行动差距，提出反馈驱动的策略发现与关系蒸馏框架，将LLM决策知识迁移至轻量SID生成器，实现高效推荐
📌 工作参考价值（4 点）
- 解耦意图与策略，用结果反馈筛选有效策略：将推荐决策拆分为意图理解（用户要什么）和策略（怎么推荐），通过LLM生成多个候选策略，再用实际推荐结果的增量收益（相比仅意图）筛选并迭代优化策略，避免语言合理但推荐效果不佳的策略。可直接用于电商推荐中优化决策逻辑，提升收入。
- 关系蒸馏替代直接匹配，将LLM知识迁移至轻量在线模型：由于LLM的语义空间与行为推荐空间不一致，采用一阶与高阶关系蒸馏对齐用户间的相对结构，比直接匹配嵌入更稳定。可在广告/电商系统中离线用LLM生成意图与策略，蒸馏到轻量生成式模型，在线推理仅增加两个Token位置，延迟仅从0.023s增至0.032s，无需LLM在线调用，适合大规模部署。
- 利用历史轨迹和群组反馈进行策略演化：策略代理基于用户正历史子序列生成多个推荐方向与拒绝边界，执行器统一评估各策略的相对优势，反馈代理通过对比分析给出群体级优化信号，最多两轮演化即可得到稳定增益。该多候选-执行-反思的Agent协作模式可推广到其他需要决策优化的场景，如搜索重排或广告创意选择。
- 意图与策略的粗-细分工设计：实验表明，意图Token主要提升Semantic ID第一层（粗粒度类别）的召回，策略Token在更深层级（细粒度区分）贡献更大。可据此设计分层生成结构，由意图约束大类，策略处理细排，有效提升推荐精度。